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摘 要 本文 阅 述 了 互联 网 新 闻 出 版 与 情 监 测 系 统 的 数据 采集 技术 分 析 。 
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1. 概述 

随 着 互联 网 产业 的 飞速 发 展 ， 互 联网 出 版 产业 的 发 展 空 
间 也 在 不 断 拓展 。 但 是 ， 网 络 出 版 中 存在 的 问题 也 必须 引起 
我 们 的 高 度 重 视 ， 通 过 本 系统 可 以 及 时 发 现 网 上 传播 的 有 害 
网 络 出 版 物 与 负面 僵 情 ， 并 进行 下 载 取证 ， 全 面 、 完 整 、 详 
实地 为 检测 部 门 提供 日 常 监测 数据 和 信息 。 
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互联 网 内 容 综 合 监管 平台 是 在 统一 的 数据 采集 、 数 据 分 
析 、 统 计 编 报 模块 基础 上 ， 和 针对 手机 APP 视听 节目 、 互 联 
网 新 闻 出 版 与 情 、 网 络 违规 出 版 物 等 不 同 监测 领域 ， 形 成 的 
一 套 可 扩展 的 、 一 体 化 的 智能 监测 综合 平台 。 平 台 主要 包括 
“互联 网 新 闻 出 版 与 情 监 测 ”“ 手 机 APP 视听 节目 监测 ”“ 网 
络 违规 出 版 物 监测 ”3 个 组 成 部 分 ， 如 下 图 所 示 。 


互联 网 内 容 综合 监管 平台 


互联 网 新 闻 出 版 与 情 
监测 系统 


了 Ap 视听 节目 帮 测 系 


网 络 违规 出 版 物 监测 系统 


可 以 全 面 监测 互联 网 中 关于 新 闻 出 版 的 实时 与 情 热点 、 


的 处 理 ， 并 根据 设 定 的 更 新 周期 ， 定 期 对 各 站 点 上 新 发 布 的 


与 情 专 题 、 手 机 APP 软件 中 发 布 的 视听 节目 以 及 各 类 网 络 
出 版 物 (例如 网 络 文学 、 网 络 漫画 、 网 络 游戏 等 ) 在 网 络 中 
传播 情况 ， 及 时 发 现 网 上 传播 的 违规 视听 节目 、 有 害 网 络 出 
版 物 与 负面 与 情 ， 并 进行 下 载 取证 ,全面 、 完 整 、 翔 实地 为 
监测 部 门 提供 日 常 监测 数据 和 信息 。 

下 面 本 文 将 着 重 介绍 互联 网 内 容 综合 监管 平台 中 的 互联 
网 新 闻 出 版 与 情 监测 系统 的 数据 采集 。 
2. 互联 网 新 闻 出 版 舆情 监测 系统 
2. 1 舆情 监测 系统 中 的 数据 处 理 
首先 网 络 蜂 蛛 从 互联 网 上 抓 取 数 据 ， 一 边 抓 取 数据 一 边 
将 已 抓 取 的 数据 信息 发 送 给 应 用 服务 器 ， 应 用 服务 器 交 给 智 
能 代理 进行 处 理 。 

智能 代理 是 系统 中 实现 核心 功能 的 子 系统 ， 对 所 有 抓 取 
的 网 络 数据 进行 全 面 的 分 析 过 滤 , 识别 出 所 监管 的 非法 信息 ， 
提交 给 其 他 子 系统 做 进一步 处 理 。 智 能 代理 能 够 及 时 地 自学 
习 完 善 自己 的 知识 体系 ， 提 高 自身 的 智能 性 。 


网 页 或 者 更 新 了 的 网 页 进行 及 时 抓 取 。 

将 抓 取 的 数据 打包 成 一 个 个 临时 数据 包 ， 然 后 将 新 数据 
任务 发 送 给 应 用 服务 器 ， 服 务 器 选择 一 个 空闲 的 智能 代理 ， 
将 这 个 任务 分 配给 它 进 行 分 析 处 理 ， 处 理 完 后 将 这 个 处 理 任 
务 反馈 给 应 用 服务 器 ， 服 务 器 再 将 此 任务 分 配给 一 个 空闲 的 
转 存 器 。 

转 存 器 主要 做 一 些 处 理工 作 ， 将 系统 发 现 的 疑似 案件 数 
据 及 所 有 的 临时 数据 存 人 到 案件 库 和 总 库 当 中 , 通过 客户 端 
查看 案件 信息 。 根 据 发 现 案件 的 URL 解析 出 其 IP 地址 ; 将 
按 规则 分 类 出 的 案件 按 规则 号 对 其 文本 内 容 标 红 ; 将 案件 从 
临时 库 转 存 到 总 库 的 案件 库 中 ; 统计 某 个 临时 表 发 现 的 案件 
类 型 及 其 案件 数 并 向 服务 器 报警 ; 将 正常 的 信息 都 转 存 到 总 
库 的 Total 库 中 。 

转 存 器 再 做 进一步 的 处 理 ， 将 有 疑似 违规 的 与 情 信 息 导 
入 到 数据 库 , 将 正常 的 信息 也 导入 到 总 库 中 , 如 果 发 现 违规 ， 
则 根据 违规 的 类 型 通知 负责 监管 这 一 主题 的 用 户 ， 客 户 端 用 


用 户 只 需要 设 定 要 抓 取 站 点 的 首页 地 址 ， 蜂 蛛 程 序 就 会 
按 设 定 的 站 点 下 载 相应 的 网 页 并 传 给 后 台 处 理 程序 做 进一步 


户 再 对 案件 进行 审计 、 反 馈 、 和 确认、 打印 等 功能 。 整 个 系统 
的 数据 处 理 流程 如 下 图 所 示 : 
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le EE 于 其 身份 背景 、 认 知 水 平等 限制 ， 对 同一 信息 的 情感 判断 
J 不 一 致 ， 因 此 其 判定 规则 没有 统一 标准 ， 因 此 由 机 天 判定 信 


ee”' > 一 > 四 息 情感 造成 很 大 困难 。 

a 六 加 二 是 网 络 信息 的 载体 较 多 ， 数 据 格式 和 类 型 不 统一 。 网 
册 > | 8 | Ta | 。 络 册 情事 件 可 以 通过 新 闻 、 博 客 等 长 文本 表述 ， 又 可 以 通过 
Rp ;| 六 新 型 的 论坛 、 微 博 等 短文 本 进行 传播 。 书 面 语言 与 口语 混杂 
出 现 ， 新 的 网 络 词汇 和 变种 词语 大 量 增加 ， 这 种 信息 特征 使 

[fee] 得 情感 分 析 的 难度 大 大 增加 。 
三 是 网 络 奥 情 事件 相关 语 料 难以 获取 。 目 前 互联 网 上 与 
2. 2 文本 及 情感 分 析 技 术 情事 件 的 相关 中 英文 语 料 建设 尚 不 完善 ， 但 情感 分 析 所 用 的 

通过 互联 网 各 个 信息 系统 传播 的 与 情事 件 信息 ， 除 了 用 ”主要 技术 均 需 大 量 语 料 支撑 。 
于 反应 事件 客观 事实 外 ， 也 表达 了 用 户 观点 和 情感 ， 例 如 对 四 是 中 文 情感 分 析 难度 较 大 。 目 前 ， 对 于 英文 的 情感 分 


该 事件 的 支持 、 反 对 或 中 立 态 度 。 这 些 情感 态度 多 数 是 通过 。 析 已 做 了 很 多 研究 ， 但 中 文 由 于 其 特殊 性 ， 准 确 度 与 中 文 分 
互联 网 上 的 普通 网 民 发 表 的 文本 信息 表达 出 来 ,包含 着 人 们 。 词 、 命 名 实体 识别 、 句 法 分 析 等 工具 的 准确 度 正 相关 。 这 些 


对 社会 各 种 现象 的 不 同 观点 和 立场 ， 个 人 和 组 织 越 来 越 多 地 ”工具 的 准确 度 会 大 大 影响 中 文 情 感 识 别 的 准确 率 。 
把 网 络 上 的 情感 观点 信息 用 于 制定 决策 方面 ， 从 而 使 得 情感 下 图 为 文本 情感 分 析 流 程 。 首 先 输入 一 篇 文本 ， 进 行文 
分 析 技 术 应 运 而 生 。 本 的 预 处 理 ， 即 将 文本 切 分 成 句子 ， 再 将 句子 切 分 为 词语 。 


情感 分 析 技 术 对 网 络 与 情事 件 发 展 走势 的 描述 和 预测 有 ”第 二 步 进 行 词语 级 情感 分 析 ， 得 到 每 个 句子 中 的 词语 情感 贷 
十 分 重要 的 作用 , 但是， 由 于 网 络 与 情 信息 的 多 样 性 和 中 文 ” 向 ,第 三 步 应 用 每 个 句子 中 词语 的 情感 倾向 进行 句子 级 情感 
文本 处 理 的 特殊 性 ， 针 对 网 络 与 情事 件 的 中 文 情感 分 析 面 临 ” 分 析 ， 获 得 每 句 话 的 情感 倾向 ， 最 后 ， 计 算 每 句 话 在 文章 中 
诸多 难点 : 的 重要 性 ， 结 合 句 子 的 情感 倾向 ， 最 终 输出 该 文档 的 正 负面 
一 是 网 络 与 情事 件 的 情感 判断 主观 性 较 强 ,不 同 的 人 由 ”倾向 性 。 
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最 终 互联 网 新 闻 出 版 僵 情 分 析 系 统 可 以 实现 对 涉及 全 ”观点 提炼 、 简 报 自动 生成 等 功能 。 
国 、 涉 我 〈 新 闻 出 版 相关 的 ) 的 境内 外 热点 、 有 害 信 息 和 涉 
稳 的 行动 性 信息 进行 主动 发 现 ， 并 对 其 传播 进行 追溯 ; 支持 。 (作者 单位 : 辽宁 省 广播 电视 及 信息 网 络 视听 节目 传播 监测 
业务 相关 的 特定 社会 群体 关注 的 热点 的 探测 与 发 现 ; 实现 以 中心 ) 
热点 云 形 式 以 及 多 热点 分 析 指 数 来 刻画 网 络 热点 。 
通过 对 专题 的 分 析 ， 完 成 操作 人 员 对 特定 关注 主题 ， 以 
及 设置 主题 或 事件 为 驱动 的 监控 任务 ， 实 现 对 数据 的 主动 采 
集 、 分 析 、 统 计 到 简报 生成 一 站 式 服 务 ， 支 持 对 事件 走势 情 
况 、 当 前 影响 力 情 况 、 阶 段 演化 分 析 、 信 息 滴 源 跟踪 、 社 交 
网 络 传播 、 网 络 推手 识别 、 网 民 区 域 分 布 、 网 民情 感 分 析 与 


